import tinysegmenter


def tokenize_japanese(text):
    """
    使用 TinySegmenter 对日语文本进行分词

    :param text: 输入的日语文本
    :return: 分词后的单词列表
    """
    segmenter = tinysegmenter
    tokens = segmenter.tokenize(text)
    return tokens


# 测试函数
if __name__ == "__main__":
    test_sentence = "君の少し後ろを歩く"
    result = tokenize_japanese(test_sentence)
    print(f"原句: {test_sentence}")
    print(f"分词结果: {result}")
    print(f"分词数量: {len(result)}")
